Đã có nhiều chỉ trích đối với việc sử dụng chỉ số IF.[10][11][12] Ví dụ như, người ta có thể không tái tạo lại được IF một cách nhất quán khi kiểm nghiệm độc lập.[13] Ngoài ra người ta còn tranh luận về sự hợp lệ của IF với tư cách là thước đo độ quan trọng của một journal và về việc ban biên tập có thể áp dụng nhiều chính sách để tăng mạnh chỉ số IF cho journal của họ (điều này có thể gây hại cho độc giả và tác giả journal đó). Một chỉ trích khác tập trung vào ảnh hưởng của IF lên hành vi của các học giả, biên tập viên, và những người khác có liên quan.[14][15] Nhiều người chỉ trích về nền tảng thể chế (institutional background) của học viện tân tự do (neoliberal academia). Họ cho rằng phải thay thế chỉ số IF bằng một chỉ số khác phức tạp hơn và tranh luận một cách dân chủ về giá trị xã hội của việc đánh giá khả năng và chất lượng nghiên cứu cũng như sự phát triển bấp bênh của nghề nghiên cứu khoa học.[16][17][18]

Tính hợp lệ của thước đo độ quan trọng

Có ý kiến cho rằng IF và phân tích trích dẫn nói chung bị tác động bởi các nhân tố phụ thuộc vào từng chuyên ngành[19], điều này khiến việc so sánh giữa các chuyên ngành khác nhau hoặc thậm chí giữa các ngành con của cùng một chuyên ngành là không hợp lệ.[20] Phần trăm số trích dẫn xuất hiện trong hai năm đầu tiên kể từ ngày bài báo được xuất bản cũng có sự biến đổi lớn giữa các chuyên ngành, ví dụ từ 1–3% trong toán học và vật lý học đến 5–8% trong các ngành khoa học liên quan đến sinh học.[21] Vì thế, không thể dùng IF để so sánh các journal thuộc các chuyên ngành khác nhau.

Vì số lượng trích dẫn phân bố lệch,[22] nên số lượng trích dẫn trung bình có thể gây hiểu lầm nếu như dùng nó để đo tác động điển hình của một bài báo riêng lẻ trong một journal thay vì để đo tác động tổng hợp của chính journal đó.[23] Ví dụ, khoảng 90% IF năm 2004 của journal Nature chỉ dựa trên 1/4 số bài báo được xuất bản, vì vậy số lượng trích dẫn thực sự cho một bài báo riêng lẻ trong journal này trong đa số trường hợp sẽ nhỏ hơn số trích dẫn trung bình của toàn bộ các bài báo.[24] Hơn nữa, sự liên hệ giữa IF của journal và tỉ lệ trích dẫn của các bài báo bên trong journal đó yếu dần đều kể từ khi các bài báo được số hóa.[25]

Quả thật, đôi khi người ta dùng IF để đánh giá không chỉ các journal mà còn các bài báo trong đó, vì thế làm giảm giá trị của các bài báo về một chủ đề nào đó.[26] House of Commons Science and Technology Select Committee đã kêu gọi Higher Education Funding Council for England nhắc nhở các vị trong Research Assessment Exercise panels rằng họ buộc phải đánh giá chất lượng nội dung của các bài báo riêng biệt chứ không phải danh tiếng của journal nơi mà các bài báo đó được đăng.[27] Hiệu ứng ngoại biên có thể thấy với trường hợp bài báo "A short history of SHELX". Bài báo này có câu: "This paper could serve as a general literature citation when one or more of the open-source SHELX programs (and the Bruker AXS version SHELXTL) are employed in the course of a crystal-structure determination". Bài báo này nhận được hơn 6000 trích dẫn. Dẫn đến IF của journal Acta Crystallographica Section A tăng từ 2.051 năm 2008 lên 49.926 năm 2009, hơn cả journal nổi tiếng Nature (IF = 31.434) và Science (IF = 28.103).[28] Bài báo được trích dẫn nhiều thứ nhì trong journal Acta Crystallographica Section A vào năm 2008 chỉ có 28 trích dẫn.[29] Nhất thiết phải lưu ý rằng IF là một thước đo cho journal chứ không nên được dùng để đánh giá từng nhà nghiên cứu hay từng viện nghiên cứu.[30][31]

Các bảng xếp hạng journal dựa trên chỉ một mình IF có mối liên hệ tương đối với các bảng xếp hạng được soạn ra từ các kết quả điều tra survey của các chuyên gia. [32]

A.E. Cawkell, từng là giám đốc nghiên cứu tại Viện Thông tin Khoa học (Institute for Scientific Information) lưu ý rằng Science Citation Index (SCI) (IF dựa trên SCI), ″sẽ hoạt động có hiệu quả nếu mọi tác giả đều trích dẫn các công trình cũ liên quan đến chủ đề của tác giả đó nghiên cứu một cách tỉ mỉ; nếu SCI bao phủ toàn bộ các journal khoa học được xuất bản ở mọi nơi trên toàn thế giới; và nếu SCI không chịu ràng buộc về kinh tế.″[33]

Ảnh hưởng của chính sách biên tập lên IF

Các chính sách biên tập có thể làm tăng IF của một journal.[34][35] Ví dụ, các journal có thể đăng nhiều bài báo tổng quan (review article). Các bài báo dạng này thường được trích dẫn nhiều hơn các báo cáo nghiên cứu.[36] Vì thế các bài bảo tổng quan có thể tăng IF của journal và do đó journal tổng quan thường có IF cao nhất trong chuyên ngành của nó.[15] Ban biên tập một số journal đề ra chính sách chỉ nhận bài "được mời" để mời các nhà khoa học lâu năm và có tiếng tăm đăng các bài báo có thể có được nhiều trích dẫn để tăng IF journal của họ.[15]

Các journal còn tìm cách giới hạn số lượng "bài viết có thể trích dẫn được", tức là, mẫu số trong biểu thức tính IF, bằng cách giảm đăng các bài báo ít có khả năng được trích dẫn (như các báo cáo về các trường hợp cụ thể (case) trong các journal y khoa) hoặc bằng cách thay thế các bài báo (ví dụ, bằng cách không cho đăng các bài tóm tắt (abstract) hoặc danh mục tham khảo (bibliography) với hi vọng rằng Journal Citation Reports sẽ không coi chúng là "các bài viết có thể trích dẫn được"). Và người ta quan sát thấy IF đã thay đổi hơn 300% nhờ áp dụng phương pháp này.[37] Các bài viết được coi là không thể trích dẫn được — và do đó không được gộp vào khi tính IF, cũng có thể, nếu như được trích dẫn, vẫn được gộp vào tử số của biểu thức tính IF mặc dù số trích dẫn đó có thể bị loại trừ một cách dễ dàng. Rất khó đánh giá hiệu ứng này vì sự khác biệt giữa bình luận của ban biên tập (editorial comment) và bài báo gốc ngắn (short original article) là không rõ ràng. Ví dụ, thư gửi ban biên tập có thể chỉ một trong hai loại.

Một số journal dùng chiến thuật ít xảo quyệt hơn đó là đăng phần lớn bài báo hoặc ít nhất là các bài có hi vọng được trích dẫn nhiều sớm hơn so với lịch trình sẽ đăng trong năm (đăng sớm). Biện pháp này sẽ giúp tăng thêm thời gian để các bài báo có thể gom thêm trích dẫn. Nhiều biện pháp khác, không cần thiết với ý đồ xấu, đó là trích dẫn các bài báo đã đăng trong chính journal đó để tăng IF cho journal.[38][39]

Ngoài các chính sách biên tập nhằm tăng đột biến IF, các journal có thể công khai đối phó với hệ thống. Ví dụ, vào năm 2007, tạp chí chuyên ngành Folia Phoniatrica et Logopaedica, có IF bằng 0.66, đã đăng một bài báo của ban biên tập trong đó trích dẫn toàn bộ bài báo của tạp chí này từ năm 2005 và năm 2006 để phản đối "tình trạng vô lý của khoa học một số nước" có liên quan đến việc sử dụng chỉ số IF.[40] Lượng trích dẫn lớn đồng nghĩa với IF tạp chí này tăng lên 1.44. Vì việc tăng đột biến này nên tạp chí này đã bị loại ra khỏi Journal Citation Reports vào năm 2008 và năm 2009.[41]

Trích dẫn cưỡng ép (coercive citation) là biện pháp mà ban biên tập bắt buộc tác giả phải thêm trích dẫn phụ vào một bài báo trước khi journal đồng ý đăng nó, mục đích là tăng lạm phát IF của journal. Một điều tra (survey) đăng vào năm 2012 nói rằng trích dẫn cưỡng ép đã được chứng nghiệm bởi một phần năm số nhà nghiên cứu làm trong các lĩnh vực kinh tế, xã hội học, tâm lý học, và nhiều chuyên ngành kinh doanh, đặc biệt phổ biến với ngành kinh doanh và các journal có IF thấp.[42] Tuy nhiên, các trường hợp trích dẫn cưỡng chế ở các chuyên ngành khoa học khác đôi khi cũng được báo cáo.[43]

Phản hồi

Vì "IF không phải luôn luôn là công cụ đáng tin cậy", vào tháng 11 năm 2007 European Association of Science Editors (EASE) đã chính thức tuyên bộ khuyến nghị "IF của journal chỉ được dùng thận trọng để đo và so sánh sự ảnh hưởng của tổng thể journal, chứ không dùng để đánh giá từng bài báo riêng lẻ, và chắc chắn không dùng để đánh giá các nhà nghiên cứu hay chương trình nghiên cứu".[11]

Vào tháng 7 năm 2008, International Council for Science (ICSU) Committee on Freedom and Responsibility in the Conduct of Science (CFRS) đã ban hành tuyên bố về "hoạt động xuất bản, các chỉ số và vai trò của bình duyệt trong đánh giá nghiên cứu", khuyến nghị nhiều giải pháp khả thi, như xem xét một số lượng hạn chế các bài báo xuất bản trong một năm khi đánh giá một nhà khoa học, thậm chí còn phạt nhà khoa học xuất bản quá nhiều trong năm, ví dụ hơn 20 bài báo.[44]

Tháng 2 năm 2010, Deutsche Forschungsgemeinschaft (German Research Foundation, Quỹ nghiên cứu Đức) công bố hướng dẫn mới nhằm chỉ đánh giá bài báo chứ không đánh giá thông tin bibliometric (thư viện) ở các ứng viên được đánh giá trong mọi quyết định liên quan "cấp phát kinh phí dựa trên thành tích nghiên cứu, đánh giá trình độ tiêu chuẩn sau tiến sĩ, đề bạt, hoặc xem xét các đề cương nghiên cứu, trong đó độ quan trọng gia tăng được gắn với các chỉ số định lượng như chỉ số H (h-index) và IF".[45] Quyết định này tương tự với National Science Foundation (US) và Research Assessment Exercise (UK).[cần dẫn nguồn]

Để ứng phó với sự quan tâm ngày càng tăng trong việc sử dụng không thích hợp chỉ số IF của journal trong việc đánh giá đầu ra khoa học và chính các nhà khoa học, American Society for Cell Biology cùng với một nhóm biên tập viên và nhà xuất bản các journal học thuật đã thành lập San Francisco Declaration on Research Assessment (DORA). Từ khi ra mắt vào tháng 5 năm 2013, DORA đã thu hút được sự ủng hộ của hàng ngàn cá nhân và hàng trăm viện nghiên cứu,[46] tính cả League of European Research Universities (một consortium gồm 21 đại học nghiên cứu nổi tiếng nhất ở châu Âu) vào tháng 3 năm 2015,[47] consortium này đã tán thành các tài liệu trên website DORA.

Université de Montréal, Imperial College London, PLOS, eLife, EMBO Journal, The Royal Society, Nature (journal) và Science (journal) đã đề xuất các chỉ số phân bố trích dẫn nhằm thay thế cho IF.[48][49][50]